草庐IT

csv - Pig CSVExcelStorage 双引号逗号

全部标签

ruby - 使用 ruby​​ 流式传输和解压缩大型 csv 文件

我遇到问题,我需要下载、解压缩,然后逐行处理一个非常大的CSV文件。我认为让您了解文件有多大很有用:big_file.zip~700mbbig_file.csv~23gb这是我希望发生的一些事情:解压缩前不必下载整个文件在解析csv行之前不必解压缩整个文件在执行所有这些操作时不要占用太多内存/磁盘我不知道这是否可能。这是我的想法:require'open-uri'require'rubyzip'require'csv'open('http://foo.bar/big_file.zip')do|zipped|Zip::InputStream.open(zipped)do|unzipped

ruby - 在 Rails 应用程序中导入 CSV 时忽略具有空白值的行

我有一个允许用户导入CSV数据的应用程序。一切正常,直到用户开始导入CSV文件中包含空白行的数据。我正在使用以下内容从CSV文件中获取行:CSV.readlines(import_file,headers:true,skip_blanks:true)我认为如果我将选项添加到skip_blanks它会这样做,但事实并非如此。关于如何忽略空白行的任何想法。谢谢! 最佳答案 这应该可行CSV.open(import_file,skip_blanks:true).reject{|row|row.all?(&:nil?)}编辑您请求了read

ruby-on-rails - 从 rails 中的整数或小数中去除逗号

整数或小数是否有等效的gsub?gsub应该使用整数吗?基本上,我只是想将小数输入到ruby​​表单中,以及用户能够使用逗号的内容。例如,我希望用户能够输入1,000.99。我试过用before_save:strip_commasdefstrip_commasself.number=self.number.gsub(",","")end但出现以下错误“undefinedmethod`gsub'for8:Fixnum”,其中“8”被替换为用户输入的任何数字。 最佳答案 如果您的字段是Fixnum,它永远不会有逗号,因为Rails必须将

单引号或双引号字符串的 ruby​​ 编码约定

我环顾四周,但找不到关于如何对字符串使用引号的约定。我知道两者之间的区别,但到处都能看到带有双引号的好代码,其中单引号就足够了。因此,我无法识别任何模式。我问这个是因为我想开始为开源做贡献,我想从一开始就养成一个好习惯。我宁愿尽可能使用单引号,也是为了增强我对两者之间差异的信心。 最佳答案 你可能已经知道的:单引号适用于简单的字符串。如果您需要计算字符串中的任何内容,您需要使用双引号。有nosignificantperformancedifference.使用双引号很有用,这样您就可以使用撇号而不必担心在字符串中转义它们,从而使字符

ruby - 使用 Ruby CSV header 转换器

假设我有以下类(class):classBuyer以及CSV文件中的以下内容:FirstName,LastNameJohn,DoeJane,Doe我想将CSV的内容保存到数据库中。我在Rake文件中有以下内容:namespace:migrationdodesc"MigrateCSVdata"task:import,[:model,:file_path]=>:environmentdo|t,args|require'csv'model=args.model.constantizepath=args.file_pathCSV.foreach(path,:headers=>true,:con

ruby - 如何使用 ActiveSupport 3 (Rails) 解析带有不带引号键的无效 JSON

我需要在Ruby中解析某些无效的JSON。类似于:json_str='{name:"Javier"}'ActiveSupport::JSON.decodejson_str如你所见,它是无效的,因为哈希键没有被引用,它应该是json_str='{"name":"Javier"}'但这无法更改,我必须解析未加引号的键。我可以用ActiveSupport2.x解析它,但ActiveSupport3不允许。它抛出我:Yajl::ParseError:lexicalerror:invalidstringinjsontext.{name:"Javier"}(righthere)------^顺便说

读取时出现 Ruby CSV UTF8 编码错误

这是我在做的:csv=CSV.open(file_name,"r")我用它来测试:line=csv.shiftwhilenotline.nil?putslineline=csv.shiftend我遇到了这个:ArgumentError:invalidbytesequenceinUTF-8我读了answerhere这就是我尝试过的csv=CSV.open(file_name,"r",encoding:"windows-1251:utf-8")我遇到了以下错误:Encoding::UndefinedConversionError:"\x98"toUTF-8inconversionfromW

Ruby 1.9.3 - CSV.table 如何知道 CSV 文件中是否没有 header ?

我一直在用CSV.table做一些测试。我有两个几乎相同的小CSV文件,但其中一个缺少标题行。当我对带有标题行的CSV文件运行CSV.table时,一切都按预期进行。当我针对没有标题行的CSV文件运行它时,我得到:NoMethodError:undefinedmethod`encode'fornil:NilClass我用不同类型的数据、不同类型的header尝试了这个,并得到了相同的结果。我很好奇CSV.table的魔力。如果我使用CSV.parse并将标题设置为true,那么无论如何它总是使第一行成为标题。所以,我一直在使用CSV.table来检查导入的CSV文件是否有标题行,但我对

ruby - 如何将 CSV 转换为 Excel?

Ruby中是否有任何插件可以将CSV文件转换为Excel。我几乎没用谷歌搜索,但我发现的只是将Excel文件转换为CSV。我知道一些我可以稍微调整并用于将Excel转换为CSV的gem,但我需要知道以前是否有人这样做过。 最佳答案 根据thispost,spreadsheetgem是一种可能性。看起来这是一个非常受欢迎的gem。看看这个。例子:book=Spreadsheet::Workbook.newsheet1=book.create_worksheetheader_format=Spreadsheet::Format.new(

ruby-on-rails - 如何改进用 `' ` 引用所有数组元素并返回包含所有这些引用和逗号分隔元素的字符串的代码?

我正在使用Rails3.2.2,我想用'引用所有数组元素并返回一个包含所有这些引用和逗号分隔元素的字符串。这时候我在用['a','b','c'].collect{|x|"'#{x}'"}.join(",")#=>"'a','b','c'"但我认为我可以改进上面的代码(也许通过使用一个我不知道的Ruby方法,如果它存在的话)。可能吗? 最佳答案 我用"'#{%w{abc}.join("','")}'"这里是扩展版:'#Startingquote%w{abc}.join("','")#Joinarraywith','delimitert